From Structure to Synergy: A Survey of Vision-Language Perception Paradigm Evolution in Multimodal Large Language Models
从结构到协同：多模态大模型中视觉语言感知范式演进综述
🧭 多模态感知范式 · 统一视角演进
Sichuan University · Peking University · China Telecom · Northwestern Polytechnical University
首次以统一视觉语言视角系统梳理 MLLM 感知范式的五阶段演进，为多模态智能提供路线图
📌 工作参考价值（4 点）
- 业务中构建商品图文理解模型时，可参照该综述的五阶段（独立结构→浅层融合→深层交互→统一预训练→自主协同），判断当前模型所处阶段并规划升级路径；例如从双塔独立编码升级为交叉注意力融合，提升图文匹配精度。
- 在 Agent 多模态感知模块设计中，借鉴「协同感知」思想，让文本指令与视觉输入的交互不再仅发生在高层语义空间，而是允许低层视觉特征直接受语言引导，提高空间推理与指令遵循能力。
- 综述中梳理了各阶段代表方法（如 CLIP、BLIP-2、LLaVA、GPT-4V 等）的架构与训练 trick，可快速了解不同范式的工程实现取舍（如是否冻结视觉编码器、是否采用 Q-Former 桥接），为技术选型提供参考。
- 未来方向指出：统一感知需要解决幻觉、细粒度理解与效率瓶颈，这些同样制约电商场景下的多模态搜索/推荐，可提前关注稀疏 MoE、结构化知识注入等应对策略。